Deep Joint Rain Detection and Removal from a Single Image

Abstract

新的模型和新的深度学习结构，binary map（rain streak layer + back ground layer）对雨痕定位,来处理haven rain情况（mist，overlapping rain streaks），提出含有contextualized dilated 结构

recurrent rain detection and removal network清除haven rain。

Introduction

问题：

1.雨痕与背景纹理的重叠，导致纹理细节被去除，某些区域被over-smoothing。

2.感受野的大小有限，无法获取spatial contextual information in larger ragions

贡献：

1.region-dependent rain models：binary map，pixel=1表示该为rain streak，pixel=0表示该点为background。

2.检测和去雨一体化的deep network：对rain和non-rain regions 采取不同操作

3.contextualized dilated network：空洞卷积扩大感受野，采用多路平行，卷积核各异的结构

4.recurrent rain detection and removal network。

Region-Dependent Rain Image Model

$widetilde{S}$无法用常用分布的描述

$$\boldsymbol{O=B+\widetilde{S}} \quad(1)$$ 为了给出$widetilde{S}$的位置和密度信息，将（1）变为（2） $$\boldsymbol{O=B+SR} \quad(2)$$ $boldsymbol{R}$：二值掩码，0=无雨区域，1=有雨区域。 $$\boldsymbol{O}=\alpha (\boldsymbol{B+\sum_{t=1}^s\widetilde{S}_tR}) +(1-\alpha)\boldsymbol{A} \quad(3)$$ $\widetilde{S}_t$代表第t类雨型，$\boldsymbol{A}$为光照。s越大，叠加各种类型的雨越多，雨也就越厚重。

Joint Rain Streak Detection and Removal

缺乏细节，如何对 F 进行conv得到R？以及后续的F，R conv得到S？